Sur un éperon de la rive gauche de l’Ourcq surplombant la ville, subsiste une grande enceinte flanquée du côté de l’attaque de quatre tours en amande. Les tours de la courtine sont au même niveau et leur chemin de ronde est sur mâchicoulis.

S’ouvrant entre les deux tours du milieu, la haute porte est surmontée d’un grand relief sculpté représentant le couronnement de la Vierge.

En 1371, le Valois est donné à Louis d’Orléans second fils de Charles V. Il devient maître du royaume pendant la folie de Charles VI. En 1393, il entreprend de reconstruire le château de La Ferté Milon en même temps que Pierrefonds. On voit dans la magnifique façade munie d’éperons, les préoccupations résidentielles du prince. En 1407, Louis d’Orléans est assassiné et les travaux sont interrompus.